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В данной работе рассматривается задача распознавания состояния сельскохозяйственной раститель- 
ности по данным аэрофотосъемки различного пространственного разрешения. В качестве основы для рас- 
познавания используется классификатор, позволяющий осуществлять классификацию входного изображе- 
ния на три класса: «здоровая растительность», «пораженная растительность» и «почва». Предложенный 
классификатор строится из двух сверточных нейронных сетей, ПОЗВОЛЯЮЩИХ ВЫПОЛНЯТЬ классификацию на 
два класса: «здоровая растительность» и «пораженная растительность», «растительность» и «почва». 
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Введение 

Развитие точного земледелия пред- 
полагает наличие точной и оперативно 
обновляемой информации о состоянии 
растительности и почвы. Получение по- 
добной информации возможно только 
при использовании дистанционного зон- 
дирования. Дистанционные методы мо- 
ниторинга сельскохозяйственных полей 
дают возможность оперативно выявить 
пораженные болезнью участки раститель- 
ности. Выявление заболевания на ранних 
стадиях развития позволяет оперативно и 
с минимальными затратами локализовать 
и вылечить заболевание. Выделяют два 
основных подхода к решению задачи вы- 
явления пораженных участков — спектро- 
метрический и оптический [1-7]. Спект- 
рометрический подход позволяет опреде- 
лять многие заболевания на ранних ста- 
диях развития. Однако, этот подход тре- 
бует наличия многоспектрального съе- 
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мочного оборудования, что не всегда 
возможно. 

Использование беспилотных лета- 
тельных аппаратов (БПЛА) является эф- 
фективным методом сбора данных на 
местах. Использование БПЛА в сельском 
хозяйстве быстро распространяется, т.к. 
является более дешевым при более высо- 
кой по сравнению со спутниками опера- 
тивностью [8-9]. БПЛА предоставляют 
визуальную информацию о больших пло- 
щадях  сельскохозяйственных культур 
максимально быстро, что позволяет руко- 
водителям хозяйств принимать оператив- 
ные решения. Полученные изображения 
затем могут быть импортированы в базу 
данных геоинформационной системы для 
дальнейшей обработки и анализа. 

Одним из наиболее успешных мето- 
дов, используемых при обработке аэро- 
фотоснимков растительности, является 
использование искусственных нейронных 
сетей [10]. 
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В данной статье используется под- 
ход, основанный на использовании свер- 
точных нейронных сетей (СНС). Свер- 
точные сети успешно используются при 
решении различных задач точного 
земледелия. 

В работах [11-13] показано выделе- 
ние сорняков на полях с точностью выше 
90 % на данных, получаемых от робота, с 
использованием СНС как для классифи- 
кации объектов, так и для семантической 
сегментации. 

В [14] применены для классифика- 
ции посевов (хотя они и составляют толь- 
ко часть искомых классов) по данным вы- 
сотной аэрофотосъемки. При этом авто- 
рам удалось достичь точности около 
89 %, что превышает аналогичные пока- 
затели для ЗУМ. 

Очень широкое применение СНС 
нашли и в задаче классификации заболе- 
ваний растительности. Так работы [15- 
18] описывают использование СНС для 
классификации аномалий развития и за- 
болеваний различных культурных расте- 
ний с точностью, превышающей 90%. 
Однако основной проблемой этих работ 
является то, что классификация, позволяя 
определить заболевание, требует наличия 
изображений отдельных листьев. Это 
значительно ограничивает применение 
результатов для получения карт пора- 
женной растительности, т.к. подготовка 
таких карт требует оценки состояния рас- 
тительной массы, а не каждого листа в 
отдельности. 

Представленная работа фокусируется 
на распознавании участков растительнос- 
ти, состояние которой изменилось под вли- 
янием заболевания. При этом классифика- 
ция самого заболевания на таких участках 
на данном этапе не производится. 

Объектом исследования являются 
цветные изображения сельскохозяйствен- 
ных полей. 

Цель работы состоит в разработке 
алгоритмов обработки цветных изобра- 
жений растительных покровов, получен- 
ных с помощью цифровой съемки раз- 
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личного пространственного разрешения, 
а также их реализации в виде програм- 
мных средств для систем компьютерного 
зрения. 

Постановка задачи 

Задачей исследования является 
разработка алгоритма преобразования 


А:1оту —* езий ‚ позволяющего получить 
из исходного изображения сельскохо- 
зяйственного поля 1079 такое изображе- 
ние Гезий, каждый пиксель Г"езин@е, У) 
которого получен из соответствующего 
пикселя изображения Тоту ©.) либо его 
окрестности. Каждый пиксель изображе- 
ния 1079 соответствует точке в про- 
странстве КОВ. Каждый — пиксель 
тезис, У) соответствует одному из трех 
классов («здоровая растительность», «по- 
раженная растительность» и «почва»). 

Задачи классификации заболеваний 
растительности и поиска сорной расти- 
тельности в данном исследовании не 
решались. 

Материалами для исследований 
явились фотографии отдельных растений 
и экспериментального участка поля, заса- 
женного картофелем. Последние выпол- 
нялись с высоты 5, 15, 50 и 100 метров 
[19-20]. Для получения данных неболь- 
шой участок поля был выделен при помо- 
щи четырех квадратных меток. Длина 
стороны квадрата равна одному метру, 
также на метку нанесены две черных ли- 
нии шириной 20 см, при пересечении да- 
ющие крест. Наличие этих меток позво- 
ляет не только определять участок для 
исследований, но и вычислять простран- 
ственное разрешение снимков. 

Наблюдению подвергались 3 группы 
растений: растения, зараженные болезнью 
из группы аКегпана; растения, зараженные 
бактериальной болезнью егуйма; здоро- 
вые растения (контрольная группа). 

Исходные данные 

Съемка растений проводилась еже- 
дневно в 8, 10, 12, 14 и 16 часов на протя- 
жении 8 дней июля. 
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В результате развития указанных 
заболеваний происходит разрушение хло- 
рофила в листьях картофеля, что приво- 
дит к изменению цвета растения. Необхо- 
димо отметить, что в ясную погоду созда- 


_ 100 метров 


15 метров 


Описание проблемы 

Анализ цветовых характеристик 
различных типов объектов на базе их гис- 
тограмм показывает заметное их разли- 
чие для почвы и растительности (для всех 
цветовых каналов), а также различие по 
синему каналу для здоровых и больных 
растений. К примеру, для изображений 
здоровой, пораженной заболеванием рас- 
тительности и почвы на соответствую- 
щих гистограммах можно увидеть, что 
гистограмма почвы отличается от гисто- 
грамм растительности на каждом цвето- 
вом канале, а гистограммы каналов здо- 
ровой и пораженной растительности от- 
личаются по форме. 

Однако наличие в выделенном 
участке изображений объектов несколь- 
ких типов приводит к искажению норма- 
лизованной редуцированной гистограм- 
мы идеального типового объекта — сме- 
щение и искажение пика гистограммы. 
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ваемые солнцем блики на листьях также 
создавали эффект их пожелтения. Это 
вносило дополнительную ошибку при ав- 
томатической обработке. 


5 метров 
Рис. 1. Примеры исходных аэрофотоснимков 


Подобные искажения, а также зна- 
чительное подобие цветовых характерис- 
тик здоровой и пораженной заболевания- 
ми растительности требуют информации 
о структуре изображений различных 
классов для их распознавания. Структур- 
ная информация может быть учтена при 
использовании СНС в качестве основы 
для алгоритма. 

Классификатор «растительность- 
почва» 

Классификатор  «растительность- 
почва» Ар представляет собой сверточ- 
ную нейронную сеть (СНС) [21], осу- 
ществляющую классификацию входного 
изображения на два класса «раститель- 
ность» и «почва». В связи со значитель- 
ными различиями в цветовых характерис- 
тиках этих двух классов данный класси- 
фикатор не требует сложной структуры. 
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СНС имеет следующую структуру 
(параметры сети были выбраны 


эмпирически): 


— Размер входного слоя: 33 Х 33 ХЗ. 

— Сверточный слой Сопу2) № 1: размер 
фильтра ЕР; = 3, количество фильтров 
Ес =4, функция активации — ВеГЛУ. 

— Сопу2) № 2: 2, = 3, Ре = 8, Ве! Х. 

— Полносвязный слой: количество 
нейронов = 16, ВеГ ДУ. 

— Выходной слой: количество нейронов = 
2 (соответствуют классам «раститель- 


ность» Ар: (Ср) и «почва» Ар, (С:)), 
функция активации — сигмоидная. 


Функция потерь (105$) — зойтах 
сго$5 епгору [22]. 
Обучение: 

— Размер обучающей выборки: 110528 
изображений. 


— Размер валидационной выборки: 27632 
изображений (20 % общей базы). 

— Результирующая точность на валида- 
ционной выборке: 96.9%. 

Обучающая выборка была получена 
путем «нарезки» имеющихся аэрофото- 
снимков с размеченными участками. При 
этом нарезались участки размером 32, 64 
и 128 пикселей с перекрытием и добавле- 
нием поворотов на углы, кратные 90°. 
Подготовленное изображение масштаби- 
ровалось до размера, требуемого на вход 
сети. 

Классификатор «здоровая-пора- 
женная растительность» 

Классификатор «здоровая-поражен- 
ная растительность» Ава также пред- 
ставляет собой СНС, осуществляющую 
классификацию входного изображения на 
два класса «здоровая растительность» и 
«пораженная растительность». В связи со 
значительными различиями в цветовых 
характеристиках этих двух классов дан- 
ный классификатор потребовал более 
сложной структуры. 

СНС имеет следующую структуру 
(параметры сети также были выбраны 
эмпирически): 


— Размер входного слоя: 33 Х 33 ХЗ. 
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— Сопу2) № 1: Е; = 3, Ес = 32, функция 
активации — КеГЛ). 

— Сопу2) № 2: 2, = 3, Ре = 32, Ве! С. 

— Сопу2) № 3: 2, = 3, Ре = 32, Ве С. 

— Сопу2) №4: Е; = 5, Е; = 64, Ве М. 

— Полносвязный слой № 1: количество 
нейронов = 128, Ве. 

— Полносвязный слой № 2: количество 
нейронов = 128, Ве О. 

— Выходной слой: количество нейронов 
=2 (соответствуют классам «здоровая 
растительность» Аа (Сь) и «поражен- 
ная растительность»), функция актива- 
ции — сигмоидная. 


Функция потерь (105$) — зойтах 
сго$$ епгору. 
Обучение: 
— Размер обучающей выборки: 22244 
изображений. 


— Размер валидационной выборки: 5560 
изображений (20 % общей базы). 

— Результирующая точность на валида- 
ционной выборке: 93.8 %. 

Объединение классификаторов 

Т.к. требуется получить классифи- 
катор на три класса, то следует объеди- 
нить полученные двухклассовые класси- 
фикаторы в один. 

Для этого воспользуемся тем, что 
классы «здоровая растительность» Ск и 
«пораженная растительность» Са явля- 
ются подклассами класса «раститель- 
ность» СР. Значение на выходе класси- 
фикатора «растительность-почва» Ар», 
соответствующее классу  «раститель- 
ность» Ар, (Ср), находится в диапазоне 
[0; 1] и может быть использовано в ка- 
честве коэффициента для выходов клас- 
сификатора «здоровая-пораженная рас- 
тительность» Ава. 

Таким образом, искомый трехклас- 
совый классификатор Ава получает вы- 
ходные значения принадлежности вход- 
ного изображения И следующим 
образом: 

1. Получить выходы Ар, (Ср) (расти- 
тельность) и Ар=(С;) (почва) класси- 
фикатора Ар. 
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2. Получить выходы Аь,а(Сь) (здоровая 
растительность) и Аь„а(Са) (поражен- 
ная растительность) классификатора 
Аьа . 

3. Получить выходы 
Аь,а,= в виде: 

Ава (Сь) = Ар (Ср) х Ава (Сь) 
Аь,а,= (Са) = Ар, (Ср) хАь,а(Са) 
Ава (С) = Ар (С;) 


Алгоритм распознавания 
В целом алгоритм распознавания 
А:1 —1 


от 


классификатора 


(преобразование теги") можно 
представить в следующем виде: 


1. Загрузить исходное цветное изобра- 


Тот размером М хм. 


жение 


2. Для 
У(х.у):х Е [0,М —\,уЕ [0,М—1]. 


2.1. Получаем окрестность О(ота @х.5)) 
пикселя в позиции (У) в 
цветного изображения 


виде 

размером 
33 Х 33 пикселя. 

2.2. Подаем полученное 
(она @.у)) на классификаторы Ар и 
Ава . 

2.3. Выходные 


изображение 


значения классифика- 


торов Ар: и Ава используем для 
вычисления выходов общего клас- 
сификатора Ава . 
2.4. Получаем индекс класса: 
ёех = атутах([Аь а, (Сь). Ака. (Са). Ака (С №} - 
2.5. Присваиваем пикселю выходного 
изображения Гезии@,У) значение, 
соответствующее псевдоцвету индекса 
класса: светло-серый — здоровая расти- 
тельность, белый —  пораженная 
растительность, темно-серый — почва. 
3. Сохраняем полученное изображение 
Тов . 
Тестирование 
Тестирование объединения класси- 
фикаторов осуществлялось на общей базе 
изображений классов: обучающая + вали- 
дационная выборка. При этом оценива- 
лась точность классификации для каждо- 
го класса в отдельности. Полученные 
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результаты тестирования приведены В 
табл. 1. 


Таблица 1. Результаты тестирования 
объединения классификаторов 


Класс Точность, % 
Пораженная растительность 74.29 
Здоровая растительность 90.16 
Почва 99.03 
Наибольшее количество ошибок 


возникало на участках, соответствующих 
границе здоровой растительности и поч- 
вы (в особенности в местах, где неболь- 
шие участки почвы окружены раститель- 
ностью, создающей на этом участке поч- 
вы тень; см. табл. 2). 


Таблица 2. Оценка количества ошибок 


Класс Ошибка Г Ошибка П, 
% % 
Пораженная 25.71 10.69 
растительность 
Здоровая 9.84 10.66 
растительность 
Почва 0.97 15.17 


Полученная при тестировании рас- 
познавания точность — 75-84 % в зависи- 
мости от разрешения снимка, освещения 
на нем и количества «пятен» почвы в 
растительной массе. 

Выводы 

Предложен и реализован с исполь- 
зованием библиотеки ТепзогЙо\ алго- 
ритм распознавания состояния раститель- 
ности на базе двух СНС по данным аэро- 
фотосъемки. Предложенный алгоритм 
позволяет снизить влияние шумовых 
факторов (освещение, солнечные блики) 
на качество получаемых карт поражен- 
ной растительности за счет использова- 
ния СНС. При этом использование двух 
СНС позволило снизить искажение цве- 
товых характеристик изображений ок- 
рестностей пикселей при попадании в не- 
го растительности и почвы. 

Дальнейшие исследования предпо- 
лагают наличие нейросетевого детекти- 
рования для выделения посторонних 
предметов, а также нейросетевой семан- 
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тической сегментации для исключения 
необходимости дополнительного алго- 
ритма и снижения количества ошибок в 
проблемных областях. 
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ВЕЗОМЕ 


У. Сапспепко, А. Ропдкт 

Сопуошбопа! пеига! пебуогк$ ш 
{а5К$ оР азмси бага уесеаНоп 5ме 
топНогт? оп аета| ппазе$ 

А ргеслчюп Гапите парПез ауа|ЙаЫ- 
Пу оЁ ассигае ап4 рготрИу ир4же шРог- 
тайоп аБойЕ а ${а{е оЁ уесеаНоп апа $01. 
Е 1$ ошу роззЫе ю оМат ис шРЮогтайоп 
И тетое зепзша 15 ч5е4. Кетое тефо4$ 
ог топцогше азиси ага! Не]4$ аПо\ диск 
14епйРуто 415еазе4 агеаз оЁГ фе уесеайоп 
ш Ше еайу $асез оЁ деуе]ортепе апа сиге 
Фе 415еазез рготрНИу ап \Ий шшипа| 
с05. Атайса| пеига|! пебуогК$ аге сот- 
шоШу чзе4 Гог ргосеззте оЁ аепа! рБою- 
этар$ оЁ уесеайоп, рагасиа]у сопуоЯ- 
опа! пеига] пебуогК$ ш аррИсаНоп Гог уееа 
оц, с1а5;1ИсаНоп оф сгорз, С1азИсаНоп оЁ 
415еазез ап4 офег (азК$. 

ТЬ1$ агафе 4еа]$ \/ИН тесоэп!оп оЁ 
уесеайоп агеаз, 5байе оЁ у/ср Ваз сВапзеа 
ипдег 415еазез шЙиепсе. ТБе ‘азК ипаег 
ес1$1оп с0п$155 ш Ще 5ерагайоп оЁ ппазез 
ОР асмси ига] Не!4$ шо зеотептз оЁ @гее 
(урез (с1аззез): зоП, ВеаШу уесвайоп, 
415еазе4 уесеайоп. Опош 4аёа аге аепа] 
рВоюзтарб$ оЁ ап ехрегитепа! Ве! оЁ 
агисиига| уесеайоп оЁ уанпочи$ зрана| 
гезоа@оп$. Апа]у$1$ оЁ со]ог сВагасет$с$ 
зВо\е4 1етиЙсапё пиегзесноп оЁ ШФезе 
свагацетзис$ юг ВеаШу ап 415еазеа 
уесеайоп. 'ТЬ1$ Гас уют сапНу сотриИ- 
сайез 14епайсайоп ап с1аззИсайоп оЁ 
ппазе зертегё5 оЁ Фе Ве!4. А ргезепсе 
ЧНегепе Чз{югаоп оп фе Не ппазез (Юг 
ш$(апсе, 0оЙ зеотеп$) а|5о гедисез с1аз- 
$ШИсайоп ассигасу: ВеаШВу агеаз тау Бе 
гесо2т12е4 аз @1зеазе4 опез. АЕ Ше зате 


109 


ите, уезеаНоп ап4 501 сап Бе зерагаеа Бу 
со]ог аице зиссезРиПу. 

То зауе рго ет оф с1азз1ЯсаНоп шп 
Фгее с1аз5ез, 1 1$ ргорозе4 1ю изе а Шегаг- 
сыса! с1аз$ ег Шфа( соп$1$65 ОЁ (м0-с1а5$ 
с1азз1Негз "зоП-уесеайоп" ап@ "Беау 
уесеайоп-415еазе4 уезеайоп." Еасб оЁ 
Фет 15$ а сопуо[айопа| пеига| пебмуогК узи 
33х33х3 шриб ап4 ап ошри Тауег ив (мо 
пеигоп$. Тре Нг5ё сопуошйопа| пейга| 
пебуогк Ваз мо сопуошйопа| |ауег$ апа 
опе №1Адеп ЁРаПу соппесе4 Пауег ап глуе$ 
96.9 % ассигасу Гог "зо-уезеайоп" с]аз- 
у саноп оп уаПданоп зе. ТБе зесоп4 с1аз- 
УШег Ваз Гог сопуошЯопа| 1ауег$ ап мо 
9194еп РаПу соппецеа Тауегз. ТВе ассигасу 
Гог "Беау уезеайоп-15еазе уегеайоп" 
с1аз;1Исаноп 15 93.8 % оп уаН4айоп зе. 
Рог оМашше оЁ Шгее с1аззез, ше с1азяй- 
сайоп гези$ аге сотЫше4 аз юоПо\з: Юг 
"зоП" с1аз$ сотезроп4те уаше оЁ Фе Йгз 
с1азз1ег 15 и5е4; Гог "ВеаШВу уегеаноп" 
ап "1зеазе4 уезеайоп", соггезроп4тя 
уашез оЁ Фе 5есопа с1аз1Йег аге ти!арпеа 
Бу уаше оЁ ошрие "уесеайоп" оЁ Фе Вгз 
саз$Шег. Кезий ассигасу Гог Ше с1аз$ез 15: 
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"Чзеазе4 уесеайоп" — 74.29 %, "Веафу 
уегеаНоп" — 90.16%, апа "зоП"- 99.03 %. 
Тре сазуйег 15 пипретешед что 
ТепзогЙо\ Пбгагу. 

Тре чзе оЁ сопуойопа! пеига1 
пебмогК$ аПо\из гедист?» Фе шЙчепсе оЁ 
позе Гасфог$ (Пепе, зип $]аге) оп Ше 
паПеу оЁ тарз оЁ аНес‹е уезеайоп. Ай 
фе зате ите, Фе ргорозе Шегагсшса] 
с1аз;1\Исайноп гефисез фе Ч1$югиоп оЁГ фе 
со]ог сНагасетз$йс$ оЁ итасез оЁ Ше 
пе1оБогВоо4$ оЁ р!хе!5 \Веп уесеайоп 
апд а $01 эеё шо Фет. 

Кези$ оМашеЯ дите фе гезеагсв 
\Ш Бе Рег изе4 ог зетапйс птаге 
зегтешаноп Базе оп сопуоНопа! пеига! 
пебмогК. 
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